Distilled Reinforcement Learning for LLM Post-training
蒸馏强化学习：将教师监督融入LLM后训练梯度
🧭 强化学习 · 知识蒸馏融合 ★ 深度解读
Nankai University · Zhongguancun Academy · Beijing Institute of Technology · Zhejiang University · Institute of Automation, Chinese Academy of Sciences
通过逆向重要性采样将教师知识注入RL梯度，实现选择性token级信用重分配
📌 工作参考价值（4 点）
- RL训练的教师信号注入：在推荐模型或Agent的RL训练中，可以用一个更强的教师模型对学生生成的序列进行token级重加权（教师/学生概率比），取代传统的KL散度模仿，避免无条件模仿导致的局部最优和模型坍塌。
- 负样本重置技巧：只在优势为正的样本上应用教师权重，负优势样本权重重置为1。在电商推荐场景中，可确保只从“好”的推荐路径中学习教师知识，避免在失败路径上模仿教师而遭受更大惩罚。
- 序列几何归一化：当学生和教师分布差异大时，教师对学生生成token的概率往往偏低，会导致乘积权重骤减，该方法除以序列内几何均值，仅保留相对偏好，稳定训练。尤其适用于跨模型结构（如不同推荐模型家族）的知识迁移。
- 跨模型家族鲁棒性：在师生模型结构差异大(如DeepSeek到Qwen)的蒸馏中，传统OPD容易失效，而Distilled RL仍能稳定提升效果，对需要混合异构模型推荐的场景有参考价值。